Synthetic Users: If, When, and How to Use AI-Generated “Research”合成使用者：何時、何地以及如何使用AI生成的"研究"
合成使用者是由AI生成的虛擬使用者。雖然它們可能有幾個使用場景，但使用者研究需要真實的使用者。在充斥使用者和產品研究領域的新型AI工具中，很少有工具像AI生成的使用者也稱為"合成使用者"
- 真實使用者研究很重要。AI生成的使用者不能取代真實使用者研究帶來的深入理解和同理心。AI使用者常常給出膚淺或過度樂觀的反饋。
- 作為補充工具。如果您要使用AI生成的使用者，應該把它們作為真實研究的補充，而不是替代品。
- 明確使用場景。AI生成的使用者適合用於初步研究和提出想法，但不應用於做最終決定。
What Are Synthetic Users? 什麼是合成使用者？
市場上除了ChatGPT等AI工具外，還有專門建立合成使用者的平臺，最知名的是Synthetic Users公司。
How Synthetic Users’ Product Works Synthetic Users產品的工作原理
我們與Synthetic Users公司聯合創始人Hugo Alves交談，瞭解產品用途。Alves指出，該工具在需要快速決策且不需絕對精確答案時最有價值，能幫團隊瞭解特定使用者群體的想法和情感，隨時提供使用者洞察。
Synthetic Users 生成的虛擬使用者檔案和傳統的使用者畫像很相似——它也包含姓名、年齡、學歷等基本人口統計資訊。和使用者畫像一樣，這種檔案是某一類真實人群的想象性抽象代表。它的作用就像人設，是為了模擬一群特定人群的特點。但不同的是，它能和你聊！不是死板資料，而是能回答你問題的“人”。要生成這些AI虛擬使用者，你只需要輸入目標使用者群體和研究目的。
Example User Group 示例使用者群體：
在拉丁美洲工作的醫學推廣代表（這裡說明可以細化地域、職業等要素，以生成針對性更強的模擬使用者。）
Example Goal 示例研究目標
醫學推廣代表的日常工作方式是怎樣的？（明確研究關注點後，系統會據此自動生成訪談內容和使用者行為背景。）
系統會根據輸入的研究目標和一些動態引數，生成多個差異化的虛擬使用者，併為每個使用者定製訪談問題。幾秒鐘搞定，訪談內容現成可看。Synthetic Users 還允許你繼續追問，開展深入訪談
Example User Group
Cost-Saving Solution or the Dawn of a Research Apocalypse? 合成使用者真的能替代真實使用者嗎？
在我們的訪談中，Alves 強調他並不希望這個產品完全取代真實的使用者研究。“你永遠不能、也不應該停止與真實的人交流。有些決策甚至根本不該找虛擬使用者問，你就該直接去問真人。我們測試了合成使用者，看看從真實使用者獲得的洞察與從合成使用者獲得的洞察之間是否存在質的差異。
The Synthetic Users website advertisesUser research. Without the users.
About Our Evaluation 關於我們的評估
我們測試了兩個AI工具（Synthetic Users和ChatGPT）在三項真實使用者研究中生成虛擬使用者反饋的效果。這些工具目前只能處理文字形式的反饋，如訪談和調查問卷。我們主要評估了訪談效果。
在使用Synthetic Users時，我們只需輸入目標使用者群體和研究目標，系統就會自動建立虛擬人物並進行模擬訪談。而ChatGPT則需要更詳細的指導。每次訪談前，我們都需要明確告訴它扮演什麼角色。
Pretend you are a medical detailing representative working in Bogotá, Colombia. For some context: You've been working in the role for 6 years. Your day-to-day work involves meeting with doctors in hospitals and clinics around Bogota. You use a CRM solution that helps you track and plan your doctor visits. Pretend you are a participant in a user research session. I will be the interviewer.
例如，我們會這樣提示ChatGPT：假設你是哥倫比亞波哥大的醫學推廣代表，已工作6年。你在醫院和診所與醫生會面，使用CRM跟蹤和安排訪問。你是研究參與者，我是採訪者。
兩種工具生成的內容差不多，但Synthetic Users的回答感覺更像真人（雖然回答仍然不夠自然且有點囉嗦）。我們確實發現了一些合成使用者的可能用途，但它們的實際價值遠沒有許多UX和產品專家宣稱的那麼大。
Valid Use Case for Synthetic Research: Desk Research 合成研究的有效用例：桌面研究
有經驗的研究團隊可以把AI生成的使用者資料作為真實使用者研究的輔助工具。合成使用者能快速彙總特定使用者群體的大量資訊，並以易懂方式呈現。
比如，醫學推廣領域有各種專業產品、研究文獻和討論論壇，這些內容已被AI學習。當我們請AI生成的醫學推廣代表描述日常工作時，其回答與真實使用者的描述非常相似。
Sure, I'd be happy to. My day usually starts around 7 AM when I go over my schedule and prepare for the meetings I have lined up with doctors and healthcare professionals. First, I make sure I have all the necessary materials —brochures, samples of cardiovascular drugs and antibiotics, and any follow-up information from previous visits. I aim to be very organized and prepared because it helps in establishing trust and reliability with the doctors I meet.
By 8 AM, I'm usually on the road, visiting clinics and hospitals across Bogotá. I typically have about five to six appointments daily, where I discuss the latest research and benefits of the products I'm detailing. A crucial part of my job is building strong relationships, so I always make it a point to understand the specific needs of each healthcare professional and tailor my conversations accordingly. This might involve bringing personalized gifts or simply remembering details about their practice that show I’m paying attention.
合成使用者回應：當然，我很樂意分享。我通常7點開始，檢視日程並準備醫生會面資料。我確保備齊宣傳冊、藥品樣品和後續資訊。保持高度組織性有助於建立信任。
8點左右我已在路上，每天訪問波哥大5-6家診所和醫院，討論產品研究和益處。我工作核心是建立關係，針對每位醫療專業人員的需求調整交流，可能包括個性化禮物或記住他們的執業細節。(由Synthetic Users生成)
合成使用者可以幫助研究人員和設計師在新領域開始專案，作為有用的起點找出可能的研究話題。合成使用者最有價值的用法是：把它提供的資訊當作假設，用來指導後續的真實研究。
Limitations of Synthetic Users 合成使用者的侷限性
AI生成的研究有嚴重侷限性，給依賴它替代真實使用者的團隊帶來風險。即使這些模型短期內改進，以下問題仍將存在。
AI Provides an Unrealistic View of Human Behavior AI提供了不切實際的人類行為視角
AI聊天機器人傾向討好使用者，無法準確模擬人類行為。Sauro研究顯示ChatGPT在樹形測試中表現過於完美。我們的培訓研究發現真實使用者常半途而廢，而合成使用者卻聲稱全部完成課程。
左邊是“真人訪談”，說話真實、有點碎，但很生活化：
| Real User Interview | Synthetic User Interview |
| Interviewer:And did you finish all seven parts of that course? Real user:So, to be honest, I didn't finish all the courses I did up to the third course, but because I have completed the first course successfully, I got a certification on the fundamentals (...) But in every course, if you successfully complete a course with the required pass mark, you get a certification for that. So I didn't complete all seven. I completed three. I got the certification for the first one, the first course. Interviewer:So why did you stop after the first three? Real user:I think I was first of all, I got a role that kept me so busy. I wasn't free enough to do a lot of them. And I felt like I needed something different. I was also exploring other short-term courses… 訪談者：你那門課的七個部分都學完了嗎？ 真實使用者：老實說我只學到第三門，但第一門拿了證書。總共七門我只上了三門。 訪談者：那為啥後面沒繼續學了？ 真實使用者：後來工作太忙沒空上課，我也想換換思路，就去上了點別的短期課程。 | Interviewer:Did you complete all of these courses that you mentioned? Synthetic user:Yes, I completed all the courses I mentioned. Each of them played a significant role in broadening my knowledge and skill set in UX research and design. Completing these courses was not just about acquiring certificates but truly understanding and integrating the learnings into my work. The insights and practical skills gained from these courses have been instrumental in enhancing my approach to UX projects, allowing me to apply new methodologies and improve the user experience in the products I work on. 訪談者：你提到的這些課程，你都完成了嗎？ 虛擬使用者：是的，我完成了我提到的所有課程。每一門課程都在拓展我在UX研究與設計方面的知識和技能上發揮了重要作用。完成這些課程不僅僅是為了獲取證書，更是為了真正理解課程內容並將所學整合到我的工作中。我從這些課程中獲得的見解與實用技能，對於我改進UX專案的方法至關重要，使我能應用新的方法論，提升我所負責產品的使用者體驗。 |
我們多次看到這種將事情理想化的趨勢。比如，在我們的自學研究中，大多數真實使用者說他們不用課程討論區，因為他們覺得那裡的交流不真誠且沒用。但是，AI生成的使用者卻很喜歡討論區，並說這個功能對他們的線上學習很重要。
真實採訪者：在參加課程時，你有在可用的論壇中發表過貢獻嗎？
合成使用者回應：是的，我在參加線上課程時積極參與論壇和討論板。我發現參與這些論壇不僅是加深對課程材料理解的一種方式，也是與來自不同背景和觀點的學習者建立聯絡的機會。[接下來是四段關於合成使用者如何提問、分享專業經驗和資源，以及他們如何透過論壇感受到社群歸屬感的內容](由Synthetic Users生成)
真實使用者和AI使用者回答的巨大差異主要有兩個原因：
- 人類行為複雜且受情境影響。AI使用者無法捕捉這種複雜性，通常表現單一，僅能提供經驗的片面彙總。
- AI回答依賴不受控的訓練資料。學術研究推薦的功能（如討論區）在AI反饋中被高估，但實際使用者可能很少使用。
UX研究需要真實人類體驗，以理解行為動機、影響因素及其重要性。目前AI使用者無法提供這種深度洞察。
Values, Desires, and Needs Are Too Shallow 價值觀、慾望和需求過於淺顯
使用者研究的目的是找出問題並確定重要性。AI生成的合成使用者能列出需求，但無法區分其重要程度。
例如，詢問合成使用者什麼讓線上課程有吸引力時，它列出了7個因素：
- Interactive Content: Courses that include interactive elements such as quizzes, exercises, and practical projects engage me more deeply than those that are purely lecture-based. Interaction not only helps in reinforcing the learning but also makes the experience more dynamic and enjoyable.
- Real-World Applications
- High-Quality Materials
- Community and Instructor Interaction
- Personalized Learning Paths
- Feedback and Progress Tracking
- Flexibility
(Generated by Synthetic Users)
- 互動內容：包含測驗、練習和實踐專案等互動元素的課程比純講座式課程更能深入吸引我。互動不僅有助於強化學習，還使學習體驗更加動態和愉悅。
- 實際應用場景
- 高質量教材
- 社群和講師互動
- 個性化學習路徑
- 反饋和進度追蹤
- 靈活性
(由Synthetic Users生成)
真實使用者會對不同事物有不同關注度，而合成使用者對所有事物一視同仁，難以用於功能優先順序排序。這些反饋過於籠統。合成使用者提到測驗、練習和專案都是好的互動內容，但沒說哪種更好、何時更好或為何更好。追問也只得到模糊回答。要獲得真實洞察，我們需要研究真實使用者使用實際課程的情況。
Imagined Experiences Are Not Reliable 想象的經驗不可靠
合成研究無法產生行為資料。AI無法像真人一樣使用產品，因此不能擁有真實體驗。因此，虛擬使用者在表達觀點時比講述"過去經歷"更準確。
一些UX和產品專家正用合成使用者驗證產品概念。Synthetic Users提供概念測試功能：描述解決方案後讓合成使用者反饋。這風險極大。因AI傾向迎合，幾乎所有想法都被視為好想法。
Interviewer:Our team is also thinking about creating another application that could allow reps to deliver samples by drone. Would this be something you would use?
Synthetic user:[after pointing out pros and cons] As a medical detailing rep, I would find this application very useful, especially for delivering samples to doctors quickly and efficiently. The time saved from not having to deliver samples personally would allow me to focus more on building relationships and providing detailed product information to doctors. Additionally, the ability to fulfill urgent sample requests promptly would enhance the service quality we provide to healthcare professionals.
If implemented well, this drone delivery system could be a game-changer, improving efficiency, reducing costs, and providing a modern, high-tech solution to sample delivery.
(Generated by ChatGPT)
訪談者：我們考慮建立應用讓銷售代表用無人機配送樣品。你會用嗎？
合成使用者：[指出利弊後] 作為醫療代表，這應用非常有用，能快速高效向醫生配送樣品。節省的時間讓我更專注於建立關係和提供產品資訊。滿足緊急樣品需求也能提升服務質量。若實施得當，無人機配送將提高效率，降低成本，提供現代化解決方案。(由ChatGPT生成)
合成使用者反饋通常積極但模糊。Alves團隊努力減少AI迎合或泛泛而談的傾向，但諂媚仍是持續挑戰。
產品團隊應避免用AI測試想法，而應尋求真實使用者反饋，確保解決方案值得投資。不過，合成使用者可提供探索解決方案時的有用考慮因素。
How to Use Fake Findings Responsibly 如何負責任地使用虛假髮現
如果你的團隊計劃使用合成研究，以下是我們建議安全使用的方法，以最大化其益處並避免風險。
- 使用合成使用者幫助準備真實使用者研究。合成使用者適用於瞭解新使用者群體、探索研究主題或測試訪談指南。
- 將合成使用者資料視為待測假設。這些資料可用於開發原型角色或旅程圖，之後透過真實使用者研究完善。
- 不要用合成使用者研究替代真實使用者研究。AI生成結果可能準確但不總是可靠，無法捕捉真實使用者行為的複雜性。
- 不要將合成研究結果呈現為真實研究。這種做法不道德，會損害組織對使用者研究的認知。始終說明資料來源。
- 對於小眾或專業使用者群體，避免使用合成使用者。例如，研究越南稻農時，合成資料可能不準確。廣泛的消費者畫像和知名主題研究結果更可靠。
- 認識到線上行為與現實生活可能不同。合成使用者資料可能有偏差，如網上評價通常偏負面，不代表大多數顧客體驗。
- 如果利益相關者視其為使用者研究替代品，避免使用這類工具。在UX成熟度低的組織中，合成使用者可能被誤解、濫用並導致依賴。
Is Fake Research Better than No Research? 虛假研究比沒有研究更好嗎？
這問題在NN/g內部和更廣泛社群中引發爭論。若團隊無法進行真實研究（因資源、技能或使用者可及性限制），合成使用者是否優於無研究？在瞭解使用者某些方面上，合成研究可能比零研究好。然而，所學內容可能不準確或誤導性，且無真實研究，無法發現並糾正這些錯誤。
缺乏真實使用者研究的決策很危險。可能導致錯誤的設計或業務決策，浪費時間和金錢，為時已晚才發現錯誤。
我們擔心使用合成研究的團隊會安於現狀，不再尋求真實使用者研究。若利益相關者認為小投入就能獲得洞察，證明真實研究投資的必要性將變困難。而且，若虛假髮現被證實不正確，可能永久損害公司對使用者為中心研究價值的認知。合成使用者爭論類似於AI生成虛擬朋友爭議。這些模擬互動能緩解孤獨，但可能損害建立真實人際關係的能力。長期來看，使用者是否會依賴於遷就他們的虛假朋友，而無法建立包含複雜人際互動的真實關係？
參考文獻
Jeff Sauro, Will Schiavone, 和 Jim Lewis. 2024.https://measuringu.com/chatgpt4-tree-test/。